峰值|之和_架构设计（日志系统）

篇首语：本文由编程笔记#小编为大家整理，主要介绍了架构设计（日志系统）相关的知识，希望对你有一定的参考价值。

架构设计&＃xff08;日志系统&＃xff09;

日志系统

日志系统组件

logback&＃xff1a;日志框架&＃xff0c;可将日志输出到控制台、文件、数据库、logstash等目的地
filebeat&＃xff1a;日志文件采集组件&＃xff0c;一个filebeat处理一个数据源&＃xff0c;相比logstash更轻量级&＃xff0c;消耗资源更少
kafka&＃xff1a;对采集的日志数据缓冲处理&＃xff0c;防止logstash负载过高
logstash&＃xff1a;可直接采集日志&＃xff0c;也可接受filebeat数据源&＃xff0c;对日志进行分析过滤
elasticsearch&＃xff1a;日志数据通常使用elasticsearch存储
kibana&＃xff1a;可视化展示日志数据

logstash采集日志数据&＃xff08;同步或者异步传输&＃xff09;

filebeat同步采集传输日志&＃xff1a;filebeat直传logstash

filebeat异步采集传输日志&＃xff1a;使用kafka异步传输到logstash

容量分析

采集200台服务器日志&＃xff0c;每天的日志总量2TB&＃xff0c;每条日志大小约为1kb&＃xff0c;
日志处理后进行监控和报警&＃xff0c;监控报警延时不能超过5分钟&＃xff0c;
每台服务器的日志峰值吞吐量10000/s&＃xff0c;所有服务器瞬时峰值之和为1000000/s
# 每台机器平均每秒处理的日志量
2TB/200/1kb/(24*60*60)&＃61;115/s
115/s小于10000/s&＃xff0c;单台服务器可以满足要求
# 网络负载
单台kafka的处理峰值&＃xff1a;100000/s
需要kafka机器数&＃xff1a;1000000/100000&＃61;10
网络负载&＃xff1a;100000*1kb&＃61;100mb&＃xff0c;千兆网卡可以满足需求
# 延时处理
假设每条日志的处理时间为20ms&＃xff0c;
1000000*20ms/1000/5分钟&＃61;66.7&＃xff0c;需要66个cpu处理峰值的吞吐量延时才不会超过5分钟
假设每条服务器4个cpu、8g内存&＃xff0c;需要的机器数&＃xff1a;66/4&＃61;16&＃xff0c;
需要16台机器部署logstash对日志进行解析处理
一般需要对系统做5到10倍的冗余处理&＃xff0c;防止系统超载&＃xff0c;使用docker部署可动态拓展机器